Determining the optimal redistribution

The classical redistribution problem aims at optimally scheduling communications when moving from an initial data distribution Dini to a target distribution Dtar where each processor Pi will host a subset P (i) of data items. However, modern computing platforms are equipped with a powerful interconnection switch, and the cost of a given communication is (almost) independent of the location of its sender and receiver. This leads to generalizing the redistribution problem as follows: find the optimal permutation σ of processors such that Pi will host the set P (σ(i)), and for which the cost of the redistribution is minimal. This report studies the complexity of this generalized problem. We provide optimal algorithms and evaluate their gain over classical redistribution through simulations. We also show the NP-hardness of the problem to find the optimal data partition and processor permutation (defined by new subsets P (σ(i))) that minimize the cost of redistribution followed by a simple computation kernel. Key-words: Scheduling, Redistribution, Heterogeneous resources, Stencil, Data distribution ∗ Ecole Normale Supérieure de Lyon, CNRS & INRIA, France † University of Tennessee Knoxville, USA Déterminer la redistribution optimale Résumé : Le problème de redistribution classique consiste à ordonnancer les communications de manière optimale lorsque l’on passe une distribution de données initiale Dini à une distribution cible Dtar où chaque processeur Pi héberge un sous-ensemble P (i) des données. Cependant, les plates-formes de calcul modernes sont équipées de puissants réseaux d’interconnexion programmables, et le coût d’une communication donnée est (presque) indépendant de l’emplacement de l’expéditeur et du récepteur. Cela conduit à généraliser le problème de redistribution comme suit: trouver la permutation optimale σ de processeurs telle que Pi héberge l’ensemble P (σ(i)), et telle que le coût de redistribution soit minimal. Ce rapport étudie la complexité de ce problème généralisé. Nous proposons des algorithmes optimaux et évaluons leur gain par rapport à la redistribution classique, via quelques simulations. Nous montrons aussi la NP-completude du problème consistant à trouver la partition de données optimale et la permutation des processeurs (définie par les nouveaux sous-ensembles P (σ(i))) qui minimise le coût de la redistribution suivie d’un noyau de calcul simple. Mots-clés : Ordonnancement, Redistribution, Ressources hétérogènes, Stencil, Distribution de données Determining the optimal redistribution 3